Joan Ball chào đời năm 1934 và là người con thứ 6 trong gia đình.[1] Bà là một đứa trẻ không mong muốn, sinh trưởng trong một gia đình lao động nghèo nàn. Khi còn nhỏ, bà từng bị mẹ bỏ rơi trong một thời gian ngắn. Chiến tranh thế giới thứ hai bắt đầu khi bà mới 5 tuổi, khiến bà phải sơ tán từ Luân Đôn về vùng nông thôn nhằm né tránh Đức Quốc xã không kích thủ đô ba lần trong thời chiến. Dù chính việc sơ tán này đã cứu mạng Ball, thế nhưng bà phải trải qua sự nuôi nấng từ nhiều gia đình khác nhau, và thường bị một trong những cha mẹ nuôi quấy rối tình dục khi sống cùng họ.[1] Chiến tranh kết thúc, bà lại có dịp đoàn tụ với gia đình mình ngay tại Luân Đôn.

Joan Ball mắc chứng khó đọc và gặp khó ở trường học. Bà đã phải trải qua phần lớn đời mình vật lộn với chứng khó đọc, trước khi cả thế giới biết đến hội chứng này. Bà vẫn không được chẩn đoán chính thức cho mãi đến lúc ở tuổi 39 vào năm 1973.[1] Nhằm tránh bị bắt nạt, bà trở thành trò hề trong lớp khi còn đi học, nhằm đảm bảo rằng mọi người sẽ cười đùa cùng với bà[1][3] chứ không phải cười vào những hành động của bà. Trong suốt những năm đi học, bà trải qua đời sống gia đình khổ cực: mẹ bà thường mắng bà là "đồ con lợn",[1] và đổ lỗi cho Joan vì cuộc hôn nhân thất bại của mình. Năm 1949, Ball kết thúc năm học cuối cùng và được nhận vào làm trợ lý cửa hàng tại Hội Hợp tác xã Luân Đôn. Vì chứng khó đọc, bà thường xuyên gặp vấn đề rắc rối với việc viết lách và thu ngân.[1]